我们引入了一种内部重播的新方法,该方法根据网络深度调节排练的频率。虽然重播策略减轻了神经网络中灾难性遗忘的影响,但最近对生成重播的作品表明,仅在网络的更深层次上进行排练才能改善持续学习的性能。但是,生成方法引入了其他计算开销,从而限制了其应用程序。通过观察到的神经网络的早期层次忘记忘记了,我们建议在重播过程中使用中级功能更新频率不同的网络层。这通过省略了发电机的更深层和主要模型的早期层来减少计算负担。我们命名我们的方法渐进式潜在重播,并表明它在使用较少的资源时表现优于内部重播。
translated by 谷歌翻译
Deep spiking neural networks (SNNs) offer the promise of low-power artificial intelligence. However, training deep SNNs from scratch or converting deep artificial neural networks to SNNs without loss of performance has been a challenge. Here we propose an exact mapping from a network with Rectified Linear Units (ReLUs) to an SNN that fires exactly one spike per neuron. For our constructive proof, we assume that an arbitrary multi-layer ReLU network with or without convolutional layers, batch normalization and max pooling layers was trained to high performance on some training set. Furthermore, we assume that we have access to a representative example of input data used during training and to the exact parameters (weights and biases) of the trained ReLU network. The mapping from deep ReLU networks to SNNs causes zero percent drop in accuracy on CIFAR10, CIFAR100 and the ImageNet-like data sets Places365 and PASS. More generally our work shows that an arbitrary deep ReLU network can be replaced by an energy-efficient single-spike neural network without any loss of performance.
translated by 谷歌翻译
The number of standardized policy documents regarding climate policy and their publication frequency is significantly increasing. The documents are long and tedious for manual analysis, especially for policy experts, lawmakers, and citizens who lack access or domain expertise to utilize data analytics tools. Potential consequences of such a situation include reduced citizen governance and involvement in climate policies and an overall surge in analytics costs, rendering less accessibility for the public. In this work, we use a Latent Dirichlet Allocation-based pipeline for the automatic summarization and analysis of 10-years of national energy and climate plans (NECPs) for the period from 2021 to 2030, established by 27 Member States of the European Union. We focus on analyzing policy framing, the language used to describe specific issues, to detect essential nuances in the way governments frame their climate policies and achieve climate goals. The methods leverage topic modeling and clustering for the comparative analysis of policy documents across different countries. It allows for easier integration in potential user-friendly applications for the development of theories and processes of climate policy. This would further lead to better citizen governance and engagement over climate policies and public policy research.
translated by 谷歌翻译
视觉奇数任务被认为是对人类的普遍独立的分析智能测试。人工智能的进步导致了重要的突破,但是与人类在此类分析智能任务上竞争仍然具有挑战性,并且通常诉诸于非生物学上的架构。我们提出了一个具有生物学现实的系统,该系统从合成眼动运动中接收输入 - 扫视,并与结合新皮质神经元动力学的神经元一起处理它们。我们介绍了一个程序生成的视觉奇数数据集,以训练扩展常规关系网络和我们建议的系统的体系结构。两种方法都超过了人类的准确性,我们发现两者都具有相同的基本推理基本机制。最后,我们表明,具有生物学启发的网络可实现卓越的准确性,学习速度更快,所需的参数比常规网络更少。
translated by 谷歌翻译
我们介绍了一种新颖的深度学习方法,用于使用高分辨率的多光谱空中图像在城市环境中检测单个树木。我们使用卷积神经网络来回归一个置信图,指示单个树的位置,该位置是使用峰查找算法本地化的。我们的方法通过检测公共和私人空间中的树木来提供完整的空间覆盖范围,并可以扩展到很大的区域。在我们的研究区域,跨越南加州的五个城市,我们的F评分为0.735,RMSE为2.157 m。我们使用我们的方法在加利福尼亚城市森林中生产所有树木的地图,这表明我们有可能在前所未有的尺度上支持未来的城市林业研究。
translated by 谷歌翻译
通过归纳逻辑编程(ILP)综合大型逻辑程序通常需要中间定义。但是,用强化谓词混乱假设空间通常会降低性能。相比之下,梯度下降提供了一种有效的方法来在此类高维空间中找到溶液。到目前为止,神经符号ILP方法尚未完全利用这一点。我们提出了一种基于ILP的合成方法,该方法受益于大规模谓词发明,利用了高维梯度下降的功效。我们发现包含十个辅助定义以上的符号解决方案。这超出了现有的神经符号ILP系统的成就,因此构成了该领域的里程碑。
translated by 谷歌翻译
为了关注稳定的室友(SR)实例,我们为进行稳定匹配问题的实验的工具箱做出了贡献。我们引入了一个多项式时间可计算的伪计,以测量SR实例的相似性,分析其属性并使用它来创建SR实例的地图。该地图可视化460个合成SR实例(每个统计培养物之一中的一个采样),如下所示:每个实例都是平面中的一个点,如果相应的SR实例彼此相似,则在地图上有两个点接近。随后,我们进行了几个模范实验,并在地图上描述了它们的结果,说明了地图作为非聚集可视化工具的有用性,生成的数据集的多样性以及使用从不同统计文化中采样的实例。最后,为了证明我们的框架也可以用于偏爱的其他匹配问题,我们创建和分析了稳定的婚姻实例地图。
translated by 谷歌翻译
我们假设,由于多模式深神经网络中学习的贪婪本质,这些模型倾向于仅依靠一种模式,同时又构成了其他模式。这种行为是违反直觉的,并损害了模型的概括,正如我们从经验上观察到的。为了估计模型对每种模式的依赖性,我们计算模型还可以访问其他模式时的准确性增益。我们将此增益称为条件利用率。在实验中,我们始终观察到模式之间,多个任务和体系结构之间的条件利用率不平衡。由于在训练过程中无法有效地计算条件利用率,因此我们根据模型从每种模式中学习的速度引入代理,我们将其称为条件学习速度。我们提出了一种算法,以平衡训练过程中模式之间的有条件学习速度,并证明它确实解决了贪婪学习的问题。提出的算法改善了模型在三个数据集上的概括:彩色MNIST,ModelNet40和Nvidia Dynamic Hand手势。
translated by 谷歌翻译
Pawlak粗糙集和邻居粗糙集是两个最常见的粗糙设置理论模型。 Pawlawk可以使用等价类来表示知识,但无法处理连续数据;邻域粗糙集可以处理连续数据,但它失去了使用等价类代表知识的能力。为此,本文介绍了基于格兰拉球计算的粒状粗糙集。颗粒球粗糙集可以同时代表佩皮克粗集,以及邻域粗糙集,以实现两者的统一表示。这使得粒度球粗糙集不仅可以处理连续数据,而且可以使用对知识表示的等价类。此外,我们提出了一种颗粒球粗糙集的实现算法。基准数据集的实验符合证明,由于颗粒球计算的鲁棒性和适应性的组合,与Pawlak粗糙集和传统的邻居粗糙相比,粒状球粗糙集的学习准确性得到了大大提高放。颗粒球粗糙集也优于九流行或最先进的特征选择方法。
translated by 谷歌翻译
通过归纳逻辑编程(ILP)学习复杂程序仍然是一个强大的挑战。现有的高阶启用的ILP系统显示出改善的准确性和学习性能,但仍然受到潜在学习机制的局限性的局限性。实验结果表明,我们通过高阶定义从失败范式的多功能学习的延伸显着提高了现有系统所需的繁重人类指导的学习表现。此外,我们提供了一个理论框架,捕获我们的扩展名处理的高阶定义类。
translated by 谷歌翻译